Ölmskog nämns första gången i skrift år 1441. Det har tidvis varit kyrkohemman.
I 1503-års jordebok benämns det Olmeskoge och betalar "1 mark penige" i skatt.
År 1540 betalar Suen i Ölmeskogh 1 mark i oxeskatt, 1 pund smör i kungsfodring,
4 hästar i årlig fodring samt av en kvarn 1 fat järn. Gården benämns då kronogods.
År 1580 nämns 2 gårdar vid Ölmskog som kyrko- och klostergods.
1884 köptes gården på exekutiv auktion av dåvarande Väse kommun, som där inrättade ålderdomshem, eller "fattiggård", som man sa på den tiden. Som sådant fungerade gården till 1931, då ett nytt ålderdomshem. Bergagården, på hemmanet Berg togs i bruk. Fattiggården låg vid slänten ett stycke bortom skylten i rät vinkel mot nuvarande manbyggnad. Huset brann ner i början av 1940-talet. På gården fanns förr en likbod. Fattiggården nämns i Sven Delblancs roman "Samuels bok".
Vid Ölmskog finns ett spannmålsmagasin av ansenlig storlek, uppfört på 1700-talet.
Fastigheten Karlslund, belägen nordväst om huvudgården, byggdes omkring 1870 i syfte att fungera som kolerasjukhus i socknen.
Uppe på krönet av vägen väster om gården kan man beskåda en milstolpe från 1767. Här intill skylten ligger en äldre smedja.

Vägbeskrivning:
Tag väg mot Ölmhult vid Väse kyrka, 6,3 km. Efter gårdsstenen Ölmskogs egendom och nedförsbacke, tag höger vid Väseräv. Informationstavla vid f.d. smedja.